Hive中默认使用单字节分隔符来加载文本数据，例如逗号、制表符、空格等等，默认的分隔符为\001。根据不同文件的不同分隔符，我们可以通过在创建表时使用 row format delimited fields terminated by ‘单字节分隔符’ 来指定文件中的分割符，确保正确将表中的每一列与文件中的每一列实现一一对应的关系。

在实际工作中，我们遇到的数据往往不是非常规范化的数据，例如我们会遇到以下的两种情况 ➢ 上图中每列的分隔符为||，为多字节分隔符 ➢ 情况二：数据的字段中包含了分隔符 ➢ 上图中每列的分隔符为空格，但是数据中包含了分割符，时间字段中也有空格 192.168.88.134 [08/Nov/2020:10:44:32 +0800] “GET / HTTP/1.1” 404 951 2.2 问题与需求 2.2.1 问题 基于上述的两种特殊数据，我们如果使用正常的加载数据的方式将数据加载到表中，就会出以下两种错误： ➢ 情况一：加载数据的分隔符为多字节分隔符 ➢ 创建表 –如果表已存在就删除表

➢ 加载数据 load data local inpath ‘/export/data/test01.txt’ into table singer;

➢ 查看结果 select * from singer;

➢ 问题 数据发生了错位，没有正确的加载每一列的数据 ➢ 原因 Hive中默认只支持单字节分隔符，无法识别多字节分隔符

➢ 情况二：数据中包含了分隔符 ➢ 创建表

➢ 加载数据 load data local inpath ‘/export/data/apache_web_access.log’ into table apachelog;

➢ 查看结果 select * from apachelog; ➢ 问题 时间字段被切分成了两个字段，后面所有的字段出现了错位 ➢ 原因 时间数据中包含了分隔符，导致Hive认为这是两个字段，但实际业务需求中，为一个字段

基于上面两种情况的测试发现，当数据中出现了多字节分隔符或者数据中的某个字段包含了分隔符，就会导致数据加载错位的问题。基于出现的问题，我们需要通过特殊的方法来解决该问题，即使当数据中出现多字节分隔符等情况时，Hive也能正确的加载数据，实现列与数据的一一对应。

面对情况一，如果数据中的分隔符是多字节分隔符，可以使用程序提前将数据中的多字节分隔符替换为单字节分隔符，然后使用Hive加载，就可以实现正确加载对应的数据。 例如：原始数据中的分隔符为“||”

可以在ETL阶段通过一个MapReduce程序，将“||”替换为单字节的分隔符“|”，示例程序如下：

➢ 程序执行结果如下：

➢ 重新创建Hive表

➢ 在Hive中重新加载数据 load data local inpath ‘/export/data/part-m-00000’ into table singer;

➢ 查看结果

在ETL阶段可以直接对数据进行分隔符的替换，通过替换分隔符将多字节分隔符更改为单字节分隔符，就可以解决数据加载的问题，但是这种方式有对应的优缺点，并不是所有的场景适用于该方法。 优点：实现方式较为简单，基于字符串替换即可 缺点：无法满足情况2的需求

面对情况一和情况二的问题，Hive中提供了一种特殊的方式来解决，Hive提供了一种特殊的Serde来加载特殊数据的问题，使用正则匹配来加载数据，匹配每一列的数据。 官网地址：https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-ApacheWeblogData

Hive的SerDe提供了序列化和反序列化两个功能，SerDe是英文Serialize和Deserilize的组合缩写，用于实现将Hive中的对象进行序列化和将数据进行反序列化。 Serialize就是序列化，用于将Hive中使用的java object转换成能写入hdfs的字节序列，或者其他系统能识别的流文件。Hive中的insert语句用于将数据写入HDFS，所以就会调用序列化实现。Hive中的调用过程如下： Deserilize就是反序列化，用于将字符串或者二进制数据流转换成Hive能识别的java object对 象。所有Hive中的Select语句在查询数据时，需要将HDFS中的数据解析为Hive中对象，就需要进行 反序列化。Hive可以方便的将数据加载到表中而不需要对数据进行转换，这样在处理海量数据时可 以节省大量的时间。Hive中的调用过程如下：

官网地址：https://cwiki.apache.org/confluence/display/Hive/SerDe Hive中默认提供了多种SerDe用于解析和加载不同类型的数据文件，常用的有ORCSerde 、RegexSerde、JsonSerDe等。

RegexSerde是Hive中专门为了满足复杂数据场景所提供的正则加载和解析数据的接口，使用RegexSerde可以指定正则表达式加载数据，根据正则表达式匹配每一列数据。上述过程中遇到的情况一和情况二的问题，都可以通过RegexSerDe使用正则表达式来加载实现。

➢ 分析数据格式，构建正则表达式 ➢ 原始数据格式 01||周杰伦||中国||台湾||男||七里香

➢ 正则表达式定义每一列 ([0-9])\|\|(.)\|\|(.)\|\|(.)\|\|(.)\|\|(.)

➢ 正则校验 ➢ 基于正则表达式，使用RegexSerde建表 –如果表已存在就删除表

➢ 加载数据 load data local inpath ‘/export/data/test01.txt’ into table singer;

➢ 查看数据结果 select * from singer; 每一列的数据都被正常的加载，没有错位

➢ 分析数据格式，构建正则表达式 ➢ 原始数据格式 192.168.88.100 [08/Nov/2020:10:44:33 +0800] “GET /hpsk_sdk/index.html HTTP/1.1” 200 328

➢ 正则表达式定义每一列 ([^ ]) ([^}]) ([^ ]) ([^ ]) ([^ ]) ([0-9]) ([^ ]*)

➢ 正则校验 ➢ 基于正则表达式，使用RegexSerde建表 –如果表存在，就删除表 drop table if exists apachelog; –创建表 create table apachelog( ip string, --IP地址 stime string, --时间 mothed string, --请求方式 url string, --请求地址 policy string, --请求协议 stat string, --请求状态 body string --字节大小 ) –指定使用RegexSerde加载数据 ROW FORMAT SERDE ‘org.apache.hadoop.hive.serde2.RegexSerDe’ –指定正则表达式 WITH SERDEPROPERTIES ( “input.regex” = “([^ ]) ([^}]) ([^ ]) ([^ ]) ([^ ]) ([0-9]) ([^ ]*)” );

➢ 加载数据 load data local inpath ‘/export/data/apache_web_access.log’ into table apachelog; ➢ 查看数据结果 select ip,stime,url,stat,body from apachelog;

Hive中也允许使用自定义InputFormat来解决以上问题，通过在自定义InputFormat，来自定义解析逻辑实现读取每一行的数据。

➢ 自定义InputFormat继承自TextInputFormat，读取数据时将每条数据中的”||”全部替换成“|” ➢ 自定义InputFormat

➢ 自定义RecordReader